#Interactive Evaluation

4 篇

ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders

ICAE-Bench：交互式项目构建编程代理评估基准

🧭 交互式编程Agent评估与用户模拟

Fudan University · Meituan Group · Singapore Management University · Shanghai Innovation Institute

提出首个从模糊需求出发交互式构建项目的编程代理评估基准，包含480个任务与自动用户模拟

📌 工作参考价值（4 点）

用户模拟器设计思路可迁移至对话式推荐：使用预定义的“用户数据”来约束模拟过程，避免人为虚构需求或泄露答案，确保交互可重现。搜索/推荐Agent评测中可借鉴此法，用历史行为序列生成模糊意图并模拟用户追问。
多维黑盒评估范式适用于Agent推荐：除功能正确性外，还细粒度评估语义相似度、结构保真度、交互质量等，可指导构建推荐/搜索Agent的全面评估体系，防止仅看单一指标导致误判。
将模糊需求锚定到具体真实代码库：在电商导购Agent场景，可用真实商品库或业务接口作为“可执行基准”，评估Agent能否将模糊意图（如“帮我找个性价比高的蓝牙耳机”）逐步澄清并落地为具体推荐/搜索动作。
通过隐藏约束与边界情况暴露Agent短板：评测表明当前模型擅长表层复现，但对隐藏业务规则、异常分支处理不足。在推荐系统中，可专门设计需要常识推理、用户长尾偏好、促销规则链的测试集，以检验Agent的深层理解与交互决策能力。

Agent | 2026-07-22 | HF Daily | score 6/10

SpatialWorld：多模态Agent真实世界交互式空间推理基准

🧭 多模态Agent · 交互式空间推理评测

Tsinghua University · Chongqing University · Peking University · ZenoMind AI · Xi’an Jiaotong University

构建统一基准评估多模态Agent在真实任务中的交互式空间推理，集成8个模拟器、760个人工任务，最强模型成功率仅17.4%

📌 工作参考价值（4 点）

统一评估层协议（simulator-agnostic, text-based action interface）可借鉴到多模态Agent评测 pipeline，屏蔽底层仿真差异，聚焦决策能力。
任务设计强调 partial observability 与主动探索，类似推荐系统中用户意图不明确时的多轮对话，可参考其“基于当前观察逐步求索”的交互范式。
终态验证器（terminal-state verifier）提供可复用的自动化评判模板，用于评估推荐Agent的最终目标达成（如购物车完成态）。
主要为学术基准，业务可借鉴点多在评估框架设计，空间推理本身在电商直接应用有限。

Eval | 2026-06-07 | HF Daily | score 7/10

AdaPlanBench：LLM代理在动态双重约束下的自适应规划评测

🧭 Agent 自适应规划评估 ★ 深度解读

University of Illinois Urbana-Champaign

首个动态交互式基准，评估LLM代理在逐步揭示的世界与用户双重约束下的自适应重规划能力。

📌 工作参考价值（4 点）

交互式约束揭示机制可用于推荐系统用户偏好挖掘：论文中代理仅当规划违反隐藏约束时才收到反馈，这种按需揭露的方式可迁移至对话式推荐，动态获取用户隐式偏好，避免一次性询问过多问题。
双重约束框架适用于电商场景的策略规划：用户约束（如偏好、预算）和世界约束（如库存、物流）的分离建模，可作为多约束下商品组合、优惠券分发的决策训练范式。
约束累积导致的性能衰退提示需设计健忘缓解策略：实验表明代理在交互中期容易遗忘已揭示约束，推荐系统在多轮对话中同样需要维护约束记忆，可借鉴其显式约束追踪模块的设计，但需注意仅追踪仍不足以最终成功，还需配合重规划能力。
用户约束的难度显著高于世界约束：在推荐或Agent业务中，应更加注重用户偏好的建模与动态更新，例如引入专门的用户偏好消化模块，或对用户约束赋予更高优先级。

Eval | 2026-06-03 | HF Daily | score 8/10

基于标准化病人案例的动态临床决策大语言模型评估

🧭 临床代理动态交互评估基准

Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory

提出 MedSP1000 交互式基准，用标准化病人闭环仿真评估 LLM 临床代理能力，暴露静态基准无法捕获的失败模式

📌 工作参考价值（4 点）

在电商 Agent 评估中，可借鉴标准化用户脚本构建闭环仿真环境，让 Agent 与用户代理、环境控制器持续交互，用预先定义的评分细则评估每一步决策，而非仅看最终结果。
过程级评价比单轮静态测试更能暴露 Agent 在信息收集不充分、规划缺失、状态适应等方面的失败模式，适合用于对话式推荐、客服 Agent 等场景的离线评测。
用领域专家审核的脚本和评分标准（类似医学教学案例的书面评分细则）来构造评估数据，保证评测的客观性和可复现性，这比人工主观判断更可靠。
实验发现增加测试时计算（如链式推理）对 Agent 性能提升有限，提示在推荐/对话 Agent 中，单纯堆叠推理步数可能不是最优解，需从训练数据或架构上增强长期规划和状态跟踪能力。

Eval | 2026-06-02 | HF Daily | score 7/10